# 读取和处理.txt文件
def extract_and_clean_urls(input_file, output_file):
    urls = set()  # 使用集合去重

    with open(input_file, 'r') as file:
        for line in file:
            url = line.strip()

            # 去除 'http://' 或 'https://' 前缀
            if url.startswith('http://'):
                url = url[7:]
            elif url.startswith('https://'):
                url = url[8:]

            urls.add(url)  # 将处理过的 URL 添加到集合

    # 将去重后的 URL 保存到新的文件中
    with open(output_file, 'w') as file:
        for url in urls:
            file.write(f"{url}\n")

    print(f"处理并去重后的URL已成功保存到 {output_file} 文件中")

# 示例：指定输入和输出文件路径
input_file = 'output_url_2.txt'
output_file = 'output_1.txt'

# 调用函数
extract_and_clean_urls(input_file, output_file)
